Chúng ta biết rất ít về cuộc sống của Baba ngoài võ đài. Được cho là im lặng và nhút nhát, ông không đi uống rượu với các đô vật khác sau các buổi biểu diễn. Tuy nhiên, Baba được các đô vật nước ngoài rất kính trọng, vì ông luôn đảm bảo rằng họ đi du lịch khoang hạng nhất, ở trong những khách sạn tốt nhất và bia và đồ ăn đều được trả tiền trước. Mặc dù không phải là một người nghiện rượu nhưng Baba lại được biết đến là người uống rượu đáng kinh ngạc và có thể uống hàng giờ nhưng không bị say. Ông cũng hút thuốc nhiều, đặc biệt là xì gà, nhưng đã bỏ thuốc sau khi bạn anh, Gyutsu Matsuyama, một người nghiện thuốc lá nặng phải nhập viện vì ung thư dạ dày.

Vào ngày 16 tháng 9 năm 1971, ông kết hôn với Motoko Kawai (sinh ngày 2 tháng 1 năm 1940) tại Hawaii. Baba thích ở lại Hawaii và thường xuyên ghé thăm cô. Tin tức về đám cưới của họ không được công khai suốt 10 năm, cho đến khi họ công bố nó trong một cuộc họp báo. Một buổi lễ được tổ chức vào năm 1983. Baba và vợ không có con do sự đứa trẻ cũng sẽ bị chứng Gigantism. Mặc dù không có con riêng nhưng Baba và vợ phát triển mối quan hệ thân thiết với một học trò của Baba tên Atsushi Onita. Baba luôn nghĩ về Onita như một người con, và từng nghiêm túc nghĩ đến chuyện nhận Onita làm con nuôi. Onita từng nói "Tôi đã học được nhiều điều quan trọng nhất khi là một học trò từ Baba".

Motoko Kawai mất ngày 14 tháng 4 năm 2018 vì bệnh xơ gan; bà thọ 78 tuổi.[4]